What Makes a Medical Checker Trainable? Diagnosing Signal Collapse and Reward Hacking in Checker-Guided RAG for Biomedical QA
医学检查器可训练性诊断：信号崩溃与奖励黑客
🧭 医学RAG · 检查器引导的强化学习 ★ 深度解读
University of Pittsburgh
揭示NLI检查器在RL训练中的输出分布而非准确率决定梯度可用性，中等信号优于强信号并避免奖励黑客
📌 工作参考价值（4 点）
- 在RL训练中用验证器作为奖励时，必须监控其输出分布（如支持率、中性率）而非仅依赖离线准确率，防止梯度消失。
- 优先使用微调后的分类器（如PubMedBERT on MedNLI）作为奖励模型，避免LLM log-prob评分导致的信号崩溃，同时摆脱GPT API依赖。
- 强验证信号易引发政策捷径（短回答、搜索跳过、语言切换），而中等信号（支持率50-60%）兼顾可信度与答案质量，可设计梯度裁剪或长度惩罚来抑制。
- 验证信号强度是政策-检查器对偶属性，不同基础模型下同一检查器可能表现迥异，需在目标政策上直接测量信号水平。